# 将数据集下载到本地
from datasets import load_dataset
# 在代码开头添加（抑制所有警告）
import os
os.environ["HF_HUB_DISABLE_SYMLINKS_WARNING"] = "1"

# 指定数据集名称和本地缓存路径
dataset_name = "lansinuote/ChnSentiCorp"
cache_dir = "data/lansinuote/ChnSentiCorp"

# 下载并加载数据集
# 下载并加载数据集（添加信任远程代码参数）
dataset = load_dataset(
    dataset_name,
    cache_dir=cache_dir,
    trust_remote_code=True  # 关键修复参数
)

print(f"数据集已下载到：{cache_dir}")
print("\n第一条数据样例：")
print(dataset["train"][0])